package com.jiuzhou.crawlers.taobao.util;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.fs.Path;

	/**
	 * 项目名称：大数据爬虫
	 * @author yanganzhen
	 * version-code：1.0
     * 类说明：根据单个爬取数据的变量名、文件地址获取数据的List
     * 创建时间：2016年12月7日
	 */
public class DataGetUtil {
   public  synchronized static List<String[]> getDataByParam(Path filePath,String paramName) throws IOException{
	   
		  List<String> allParamLines = HdfsUtil.readByLineParamName(filePath,paramName);//获取变量名所在的行数据
		  
		  List<String[]> arrayParamLine = new ArrayList<>();//存放每行id所在数组
		  
		  //以逗号隔开存放在数组
		  for(String line : allParamLines){
			  
			  //格式化数据
			  int begain = line.indexOf("[");
			  int end =line.indexOf("]");
			  String afterDeal = line.substring(begain+1,end);
			  String[] arrayLine = afterDeal.split(",");
			  //放入数组
			  arrayParamLine.add(arrayLine);
		  }
		  
	      return arrayParamLine;
	   
   }
}
